Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact
LLM表面心理画像大多是方向应答偏差的假象
🧭 LLM评估方法论批判
Max Planck Institute for Human Development · University of Konstanz · Barcelona Supercomputing Center · University of Basel
量化证明LLM心理测评差异81-90%由方向应答偏差驱动，而非真实心理特质
📌 工作参考价值（4 点）
- 在将LLM作为用户模拟器或评估其“类人”特质时，避免直接套用人类心理量表，因为模型响应主要由方向性偏差（总是偏向某极或某标签）驱动，不反映真实倾向。
- 设计推荐理由生成、用户意图理解等任务时，需通过正交化项目设计或指令校准控制LLM的应答偏差，否则可能得到系统性偏向的推荐结果。
- 评估LLM驱动的Agent时，不应将量表得分直接解释为稳定人格，应考虑测量工具本身的偏差结构，否则会误判Agent行为风格。
- 若利用LLM生成多样化的用户画像或偏好标签，可借鉴“响应正交性”概念，构建平衡偏差与目标维度的题目池，提高标签有效性。